OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
OmniOpt: 现代优化器分类、几何与基准评测
🧭 现代优化器统一分类与基准评测
Shanghai Artificial Intelligence Laboratory · Shanghai University · Westlake University · Shanghai Jiao Tong University · UCAS
提出统一元流水线与LMO框架，构建双维度分类并系统性基准评测100+优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如CTR、CVR预估、多任务学习）时，可根据双维度分类快速筛选优化器：若追求收敛速度与泛化，可优先考虑AdamW；若显存受限，可尝试Lion或分布式优化器。
- LMO统一框架帮助理解不同优化器的几何含义，方便在自研推荐模型时针对稀疏特征（如embedding）或稠密参数设计混合优化策略。
- 基准结果显示多数优化器只在少数目标上占优，建议在实际业务中根据优化目标（稳定性、超参鲁棒性、计算开销）组织小规模预实验，避免盲目跟风新方法。
- 论文提供了108个优化器的代码库和Hugging Face集成，可直接用于推荐模型的训练加速和对比实验。